Dương Nghiệp sinh tại vùng Lân Châu thuộc Tân Tần (nay là Thần Mộc, Thiểm Tây, Trung Quốc). Cha của ông là Dương Tín, thứ sử Lân Châu thuộc nhà Hậu Hán. Thời niên thiếu Dương Nghiệp theo hầu Lưu Sùng, tiết độ sứ Hà Đông. Năm 951, Lưu Sùng lập nhà Bắc Hán, Dương Nghiệp được phong làm tiết độ sứ ở vùng ngày nay là huyện Đại, Sơn Tây và được ban quốc tính tức Lưu Kế Nghiệp. Dương Nghiệp được Lưu Sùng cử đóng quân ở mặt Bắc để phòng nhà Liêu, nhưng thực tế, Dương Nghiệp hầu như đảm nhận phòng vệ hầu hết Bắc Hán.

Thuở nhỏ, Nghiệp không đọc văn thư nhiều, mà lại đọc binh thư, còn nuôi ưng điểu và chó săn, học binh pháp và cung tiễn, thường đi săn thú rừng. Khi nào đi săn, cũng đem về thú rừng loại to, khiến cha mẹ nở mặt. Nghiệp dùng chim ưng và chó săn như tướng dùng binh sỹ, nên Tín (Dương Tín, cha của Dương Nghiệp) cho rằng con trai sẽ thành đại nghiệp. Con trẻ trong vùng, ai cũng kính nể Nghiệp.

Khi đã trưởng thành, Chiết gia ở Vân Trung nghe danh Nghiệp đánh Khiết Đan, gả cho con gái, đương thời hậu thế hãy gọi là Xà Thế Quân. Nghiệp giỏi binh nghiệp, nổi tiếng ở tây bắc; cả Bắc Tống lẫn Bắc Hán đều ham muốn. Nghiệp đầu quân Bắc Hán, nhưng lòng thì cứ muốn Thái Nguyên về với Tống triều.